The security of artificial intelligence (AI) is an important research area towards safe, reliable, and trustworthy AI systems. To accelerate the research on AI security, the Artificial Intelligence Security Competition (AISC) was organized by the Zhongguancun Laboratory, China Industrial Control Systems Cyber Emergency Response Team, Institute for Artificial Intelligence, Tsinghua University, and RealAI as part of the Zhongguancun International Frontier Technology Innovation Competition (https://www.zgc-aisc.com/en). The competition consists of three tracks, including Deepfake Security Competition, Autonomous Driving Security Competition, and Face Recognition Security Competition. This report will introduce the competition rules of these three tracks and the solutions of top-ranking teams in each track.
translated by 谷歌翻译
基于模型的单图像去悬算算法恢复了带有尖锐边缘的无雾图像和真实世界的朦胧图像的丰富细节，但以低psnr和ssim值的牺牲来为合成朦胧的图像。数据驱动的图像恢复具有高PSNR和SSIM值的无雾图图像，用于合成朦胧的图像，但对比度低，甚至对于现实世界中的朦胧图像而言，甚至剩下的雾霾。在本文中，通过组合基于模型和数据驱动的方法来引入一种新型的单图像飞行算法。传输图和大气光都是首先通过基于模型的方法估算的，然后通过基于双尺度生成对抗网络（GAN）的方法进行完善。所得算法形成一种神经增强，在相应的数据驱动方法可能不会收敛的同时，该算法的收敛非常快。通过使用估计的传输图和大气光以及KoschmiederLaw来恢复无雾图像。实验结果表明，所提出的算法可以从现实世界和合成的朦胧图像中井除雾霾。
translated by 谷歌翻译
大多数现有的基于深度学习的单图像动态场景盲目脱毛（SIDSBD）方法通常设计深网络，以直接从一个输入的运动模糊图像中直接删除空间变化的运动模糊，而无需模糊的内核估计。在本文中，受投射运动路径模糊（PMPB）模型和可变形卷积的启发，我们提出了一个新颖的约束可变形的卷积网络（CDCN），以进行有效的单图像动态场景，同时实现了准确的空间变化，以及仅观察到的运动模糊图像的高质量图像恢复。在我们提出的CDCN中，我们首先构建了一种新型的多尺度多级多输入多输出（MSML-MIMO）编码器架构，以提高功能提取能力。其次，与使用多个连续帧的DLVBD方法不同，提出了一种新颖的约束可变形卷积重塑（CDCR）策略，其中首先将可变形的卷积应用于输入的单运动模糊图像的模糊特征，用于学习学习的抽样点，以学习学习的采样点每个像素的运动模糊内核类似于PMPB模型中摄像机震动的运动密度函数的估计，然后提出了一种基于PMPB的新型重塑损耗函数来限制学习的采样点收敛，这可以使得可以使得可以使其产生。学习的采样点与每个像素的相对运动轨迹匹配，并促进空间变化的运动模糊内核估计的准确性。
translated by 谷歌翻译
图像和语言建模对于视觉前训练（VLP）至关重要，该培训旨在从大规模配对的图像文本数据中学习多模式表示。但是，我们观察到，大多数现有的VLP方法着重于建模图像和文本特征之间的相互作用，同时忽略图像和文本之间的信息差异，从而遭受焦点偏见。为了解决这个问题，我们提出了一个视觉语言掩盖自动编码器框架（VLMAE）。VLMAE采用视觉生成学习，促进该模型获得细粒度和公正的特征。与以前的作品不同，Vlmae注意图像中几乎所有关键的补丁，提供了更全面的理解。广泛的实验表明，VLMAE在各种视觉语言下游任务中取得更好的性能，包括视觉问答，即使有20％的预训练速度，图像文本检索和视觉接地也是如此。
translated by 谷歌翻译
基于文本的人检索旨在根据文本描述找到查询人员。关键是学习视觉文本模式之间的常见潜在空间映射。为了实现这一目标，现有的作品采用细分来获得明确的跨模式对齐方式或利用注意力来探索显着对准。这些方法有两个缺点：1）标记交叉模式比对很耗时。 2）注意方法可以探索显着的跨模式对齐，但可能会忽略一些微妙而有价值的对。为了缓解这些问题，我们为基于文本的人检索引入了一个隐式视觉文本（IVT）框架。与以前的模型不同，IVT利用单个网络来学习两种模式的表示形式，这有助于视觉文本相互作用。为了探索细粒的对准，我们进一步提出了两个隐式语义比对范式：多级比对（MLA）和双向掩码建模（BMM）。 MLA模块在句子，短语和单词级别上探索了更精细的匹配，而BMM模块旨在挖掘视觉和文本模态之间的\ textbf {更多}语义对齐。进行了广泛的实验，以评估公共数据集中提出的IVT，即Cuhk-Pedes，RSTPREID和ICFG-PEDES。即使没有明确的身体部位对准，我们的方法仍然可以达到最先进的表现。代码可在以下网址获得：https：//github.com/tencentyouturesearch/personretrieval-ivt。
translated by 谷歌翻译
该技术报告介绍了MTVG的第三次获胜解决方案，这是在ACM MM 2022中的第4-人（PIC）挑战中引入的一项新任务。MTVG旨在根据文本拟定视频将步骤的时间边界定位在文本视频中描述。这项任务的最大挑战是化妆步骤的Fi ne Grean Video-Text语义。但是，当前方法主要使用基于动作的预训练模型提取视频功能。由于动作比化妆步骤更粗糙，因此基于动作的特征不足以提供提示。为了解决这个问题，我们建议通过利用特征多样性来实现Fi ne Grean的表示。具体而言，我们提出了一系列从特征提取，网络优化到模型集合的方法。结果，我们在MTVG比赛中获得了第三名。
translated by 谷歌翻译
图像的美学评估可以分为两种主要形式：数值评估和语言评估。照片的美学标题是已解决的审美语言评估的唯一任务。在本文中，我们提出了一项美学评估的新任务：图像的美学视觉和回答（AVQA）。如果我们提出图像美学问题，模型可以预测答案。我们使用\ textit {www.flickr.com}的图像。目标QA对由提出的美学属性分析算法产生。此外，我们引入了主观质量检查对，这些对从审美数字标签和来自大规模培训模型的情感分析转换。我们构建了第一个回答数据集AESVQA的审美视觉问题，其中包含72,168个高质量图像和324,756对美学问题。已经提出并证明了两种调整数据分布的方法，以提高现有模型的准确性。这是解决美学VQA任务并将主观性引入VQA任务的第一项工作。实验结果表明，我们的方法在这项新任务上的表现优于其他VQA模型。
translated by 谷歌翻译
假新闻的广泛传播越来越威胁到个人和社会。在单个领域（例如政治）上自动假新闻发现已做出了巨大的努力。但是，相关性通常存在于多个新闻领域，因此有望同时检测多个域的假新闻。基于我们的分析，我们在多域假新闻检测中提出了两个挑战：1）域转移，是由域，情感，样式等领域之间的差异引起的。世界分类仅输出一个单个领域标签，而不管新闻文章的主题多样性如何。在本文中，我们提出了一个记忆引导的多视图多域假新闻检测框架（M $^3 $ fend），以应对这两个挑战。我们从多视图的角度对新闻作品进行建模，包括语义，情感和风格。具体而言，我们建议一个域存储库来丰富域信息，该信息可以根据可见的新闻和模型域特征来发现潜在的域标签。然后，以丰富的域信息为输入，域适配器可以从各个域中的新闻的多个视图中适应汇总歧视性信息。对英语和中文数据集进行的大量离线实验证明了M $^3 $ fend的有效性，在线测试在实践中验证了其优势。我们的代码可在https://github.com/ictmcg/m3fend上找到。
translated by 谷歌翻译
图表无处不在地编码许多域中现实世界对象的关系信息。图形生成的目的是从类似于观察到的图形的分布中生成新图形，由于深度学习模型的最新进展，人们的关注越来越大。在本文中，我们对现有的图形生成文献进行了全面综述，从各种新兴方法到其广泛的应用领域。具体来说，我们首先提出了深图生成的问题，并与几个相关的图形学习任务讨论了它的差异。其次，我们根据模型架构将最新方法分为三类，并总结其生成策略。第三，我们介绍了深图生成的三个关键应用领域。最后，我们重点介绍了深图生成的未来研究中的挑战和机遇。
translated by 谷歌翻译
由不同形状和非线性形状变化引起的机器官的大变形，对医学图像配准产生了重大挑战。传统的注册方法需要通过特定变形模型迭代地优化目标函数以及细致的参数调谐，但在具有大变形的图像中具有有限的能力。虽然基于深度学习的方法可以从输入图像到它们各自的变形字段中的复杂映射，但它是基于回归的，并且容易被卡在局部最小值，特别是当涉及大变形时。为此，我们呈现随机策划者 - 演员 - 评论家（SPAC），这是一种新的加强学习框架，可以执行逐步登记。关键概念通过每次步骤连续地翘曲运动图像，以最终与固定图像对齐。考虑到在传统的强化学习（RL）框架中处理高维连续动作和状态空间有挑战性，我们向标准演员 - 评论家模型引入了一个新的概念“计划”，这是低维度，可以促进演员生成易于高维行动。整个框架基于无监督的培训，并以端到端的方式运行。我们在几个2D和3D医学图像数据集上评估我们的方法，其中一些包含大变形。我们的经验结果强调了我们的工作实现了一致，显着的收益和优于最先进的方法。
translated by 谷歌翻译